跳到主要内容

正则技术之暂退法（Dropout）

暂退法（Dropout）是一种在神经网络训练中使用的正则化技术，旨在防止模型过拟合。Dropout是由Hinton及其学生在2014年提出的，它已经成为深度学习中最流行和最有效的正则化技术之一。

工作原理：​

在每次训练迭代中，Dropout按照预定的概率随机地“关闭”（即设置为0）网络中的一部分神经元。这意味着在每次前向传播中，某些神经元不会对下一层产生任何影响。在反向传播中，这些“关闭”的神经元也不会有任何权重更新。

数学描述：​

给定一个神经元的输出 zz，Dropout可以表示为：

z′=z×dz' = z \times d

其中 dd 是一个随机变量，它以概率 pp 取值1，以概率 1−p1-p 取值0。这里，pp 是Dropout的概率。

为什么Dropout有效？​

  1. 模型平均：由于在每次迭代中都随机关闭一些神经元，因此实际上我们在训练多个不同的网络子集。最终的模型可以看作是这些子网络的平均，这有助于减少过拟合。

  2. 减少神经元之间的共适应性：由于神经元可能在任何时候被关闭，因此每个神经元必须变得更加鲁棒，并且不能过于依赖其他特定的神经元。

在PyTorch中使用Dropout：​

PyTorch提供了一个nn.Dropout层，使得在神经网络中使用Dropout变得非常简单。

import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(10, 50)
        self.fc2 = nn.Linear(50, 10)
        self.dropout = nn.Dropout(0.5)  # 50%的Dropout概率

    def forward(self, x):
        x = self.fc1(x)
        x = self.dropout(x)  # 在FC1和FC2之间应用Dropout
        x = self.fc2(x)
        return x

注意事项：​

  • 测试时不使用Dropout：在模型训练时，我们应用Dropout，但在测试或评估模型时，我们不应用Dropout。在PyTorch中，可以通过调用model.eval()来确保Dropout层在评估模式下不起作用。
  • 调整Dropout率：Dropout率（即关闭神经元的概率）是一个超参数，可能需要通过交叉验证来选择最佳值。

总的来说，Dropout是一种简单而有效的正则化技术，它通过随机关闭神经元来防止神经网络过拟合。